
    <!DOCTYPE html>
    <html lang="zh-CN">
    <head>
      <meta charset="UTF-8">
      <meta name="viewport" content="width=device-width, initial-scale=1.0">
      <title>数据去重有哪些方法 - 学习卡片</title>
      <style>
        body { font-family: sans-serif; background-color: #f0f8ff; color: #333; display: flex; flex-direction: column; align-items: center; padding: 50px 20px; }
        .header h1 { font-size: 32px; }
        .grid-container { display: grid; grid-template-columns: repeat(3, 1fr); gap: 28px; width: 100%; max-width: 1200px; }
        .card-container { perspective: 1200px; cursor: pointer; height: 250px; }
        .card { width: 100%; height: 100%; position: relative; transform-style: preserve-3d; transition: transform 0.7s; border-radius: 16px; box-shadow: 0 4px 16px rgba(0,0,0,0.08); }
        .card-container.flipped .card { transform: rotateY(180deg); }
        .card-face { position: absolute; width: 100%; height: 100%; backface-visibility: hidden; display: flex; flex-direction: column; box-sizing: border-box; border-radius: 16px; background-color: #fff; padding: 24px; }
        .card-back { background-color: #f0fff4; transform: rotateY(180deg); justify-content: space-between; }
        .card-category { font-size: 14px; color: #0052d9; margin-bottom: 8px; font-weight: 500; }
        .card-question { font-size: 20px; font-weight: 500; flex-grow: 1; display: flex; align-items: center; justify-content: center; text-align: center; }
        .card-answer-wrapper { flex-grow: 1; overflow-y: auto; }
        .card-answer { font-size: 15px; line-height: 1.7; }
        .card-footer { font-size: 13px; color: #8a919f; border-top: 1px solid #f0f0f0; padding-top: 16px; margin-top: 16px; }
        .card-source { font-size: 13px; color: #8a919f; border-top: 1px solid #f0f0f0; padding-top: 12px; margin-top: 12px; }
      </style>
    </head>
    <body>
      <div class="header">
        <h1>数据去重有哪些方法 - 学习卡片</h1>
      </div>
      <div class="grid-container">
        
    <div class="card-container" onclick="this.classList.toggle('flipped');">
      <div class="card">
        <div class="card-face card-front">
          <div class="card-category">理论</div>
          <div class="card-question">“重复记录”和“数据冗余”这两个数据重复问题有何区别？</div>
          <div class="card-footer">点击卡片查看答案</div>
        </div>
        <div class="card-face card-back">
          <div class="card-category">理论</div>
          <div class="card-answer-wrapper">
            <div class="card-answer">“重复记录”是指在同一个数据集中存在两条或多条内容完全相同的记录。而“数据冗余”是指在不同的数据集中包含重复的记录，常见于数据集成或迁移过程。</div>
          </div>
          <div class="card-source">来源: 常见的数据重复问题</div>
        </div>
      </div>
    </div>

    <div class="card-container" onclick="this.classList.toggle('flipped');">
      <div class="card">
        <div class="card-face card-front">
          <div class="card-category">技术</div>
          <div class="card-question">在Java中，使用集合（Set）去重时，HashSet、TreeSet和LinkedHashSet的主要区别和适用场景是什么？</div>
          <div class="card-footer">点击卡片查看答案</div>
        </div>
        <div class="card-face card-back">
          <div class="card-category">技术</div>
          <div class="card-answer-wrapper">
            <div class="card-answer">HashSet基于哈希表，操作时间复杂度为O(1)，不保证顺序；TreeSet基于红黑树，能保证元素有序，操作时间复杂度为O(log n)；LinkedHashSet则保留了元素的插入顺序，适用于需要顺序去重的场景。</div>
          </div>
          <div class="card-source">来源: 基于数据结构去重</div>
        </div>
      </div>
    </div>

    <div class="card-container" onclick="this.classList.toggle('flipped');">
      <div class="card">
        <div class="card-face card-front">
          <div class="card-category">技术</div>
          <div class="card-question">位图去重方法有什么核心优点和主要局限性？</div>
          <div class="card-footer">点击卡片查看答案</div>
        </div>
        <div class="card-face card-back">
          <div class="card-category">技术</div>
          <div class="card-answer-wrapper">
            <div class="card-answer">位图去重的核心优点是在内存使用上非常高效。其主要局限性是仅适用于整数类型的数据，并且对于大规模、稀疏数据需要结合分块技术来处理。</div>
          </div>
          <div class="card-source">来源: 基于数据结构去重</div>
        </div>
      </div>
    </div>

    <div class="card-container" onclick="this.classList.toggle('flipped');">
      <div class="card">
        <div class="card-face card-front">
          <div class="card-category">技术</div>
          <div class="card-question">在数据库中，如何利用窗口函数（如 ROW_NUMBER()）实现复杂的去重逻辑？</div>
          <div class="card-footer">点击卡片查看答案</div>
        </div>
        <div class="card-face card-back">
          <div class="card-category">技术</div>
          <div class="card-answer-wrapper">
            <div class="card-answer">通过使用 `ROW_NUMBER() OVER(PARTITION BY ... ORDER BY ...)`，可以根据指定列对数据进行分组和排序，并为每组内的行分配一个唯一的序号。然后，通过筛选出序号为1的记录，即可实现复杂的去重。</div>
          </div>
          <div class="card-source">来源: 基于数据库去重</div>
        </div>
      </div>
    </div>

    <div class="card-container" onclick="this.classList.toggle('flipped');">
      <div class="card">
        <div class="card-face card-front">
          <div class="card-category">技术</div>
          <div class="card-question">在SQL中，使用`DISTINCT`和`GROUP BY`进行去重有何不同？</div>
          <div class="card-footer">点击卡片查看答案</div>
        </div>
        <div class="card-face card-back">
          <div class="card-category">技术</div>
          <div class="card-answer-wrapper">
            <div class="card-answer">`DISTINCT`关键字用于从结果集中直接检索唯一的行，适用于简单的去重需求。而`GROUP BY`可以根据指定列的组合进行分组去重，并且支持更复杂的聚合操作。</div>
          </div>
          <div class="card-source">来源: 基于数据库去重</div>
        </div>
      </div>
    </div>

    <div class="card-container" onclick="this.classList.toggle('flipped');">
      <div class="card">
        <div class="card-face card-front">
          <div class="card-category">算法</div>
          <div class="card-question">什么是布隆过滤器？它在数据去重中的适用场景是什么？</div>
          <div class="card-footer">点击卡片查看答案</div>
        </div>
        <div class="card-face card-back">
          <div class="card-category">算法</div>
          <div class="card-answer-wrapper">
            <div class="card-answer">布隆过滤器是一种空间效率高、但可能存在误判的数据结构，用于判断一个元素是否在集合中。它适用于需要快速判断元素是否可能存在，但不适用于要求结果绝对精确的去重操作。</div>
          </div>
          <div class="card-source">来源: 基于算法去重</div>
        </div>
      </div>
    </div>

    <div class="card-container" onclick="this.classList.toggle('flipped');">
      <div class="card">
        <div class="card-face card-front">
          <div class="card-category">算法</div>
          <div class="card-question">请比较哈希表法和排序法这两种去重算法的原理和适用场景。</div>
          <div class="card-footer">点击卡片查看答案</div>
        </div>
        <div class="card-face card-back">
          <div class="card-category">算法</div>
          <div class="card-answer-wrapper">
            <div class="card-answer">哈希表法通过哈希表存储已出现过的元素，时间复杂度为O(n)，适用于内存充足的情况。排序法先对数据集排序，再遍历比较相邻元素，时间复杂度为O(n log n)，适用于数据量较大但内存有限的场景。</div>
          </div>
          <div class="card-source">来源: 基于算法去重</div>
        </div>
      </div>
    </div>

    <div class="card-container" onclick="this.classList.toggle('flipped');">
      <div class="card">
        <div class="card-face card-front">
          <div class="card-category">工具</div>
          <div class="card-question">Apache Spark 和 Apache Flink 这两个外部工具在处理数据去重时有何核心差异？</div>
          <div class="card-footer">点击卡片查看答案</div>
        </div>
        <div class="card-face card-back">
          <div class="card-category">工具</div>
          <div class="card-answer-wrapper">
            <div class="card-answer">Apache Spark 是一个分布式数据处理框架，适用于对大规模数据集（如RDD）的去重操作。而 Apache Flink 是一个流处理框架，更适用于对实时数据流（DataStream）进行去重。</div>
          </div>
          <div class="card-source">来源: 基于外部工具去重</div>
        </div>
      </div>
    </div>

    <div class="card-container" onclick="this.classList.toggle('flipped');">
      <div class="card">
        <div class="card-face card-front">
          <div class="card-category">理论</div>
          <div class="card-question">什么是“虚假重复”问题？它通常由什么原因引起？</div>
          <div class="card-footer">点击卡片查看答案</div>
        </div>
        <div class="card-face card-back">
          <div class="card-category">理论</div>
          <div class="card-answer-wrapper">
            <div class="card-answer">虚假重复是指由于数据标准化不足或格式不一致，导致记录看似重复但实际上是不同的。这种情况常见于姓名大小写不一致或数据格式不统一等情况。</div>
          </div>
          <div class="card-source">来源: 常见的数据重复问题</div>
        </div>
      </div>
    </div>

      </div>
    </body>
    </html>
